Simulation-based falsification is a practical testing method to increase confidence that the system will meet safety requirements. Because full-fidelity simulations can be computationally demanding, we investigate the use of simulators with different levels of fidelity. As a first step, we express the overall safety specification in terms of environmental parameters and structure this safety specification as an optimization problem. We propose a multi-fidelity falsification framework using Bayesian optimization, which is able to determine at which level of fidelity we should conduct a safety evaluation in addition to finding possible instances from the environment that cause the system to fail. This method allows us to automatically switch between inexpensive, inaccurate information from a low-fidelity simulator and expensive, accurate information from a high-fidelity simulator in a cost-effective way. Our experiments on various environments in simulation demonstrate that multi-fidelity Bayesian optimization has falsification performance comparable to single-fidelity Bayesian optimization but with much lower cost.

Rather than augmenting rewards with penalties for undesired behavior, Constrained Partially Observable Markov Decision Processes (CPOMDPs) plan safely by imposing inviolable hard constraint value budgets. Previous work performing online planning for CPOMDPs has only been applied to discrete action and observation spaces. In this work, we propose algorithms for online CPOMDP planning for continuous state, action, and observation spaces by combining dual ascent with progressive widening. We empirically compare the effectiveness of our proposed algorithms on continuous CPOMDPs that model both toy and real-world safety-critical problems. Additionally, we compare against the use of online solvers for continuous unconstrained POMDPs that scalarize cost constraints into rewards, and investigate the effect of optimistic cost propagation.

Partially observable Markov decision processes (POMDPs) provide a flexible representation for real-world decision and control problems. However, POMDPs are notoriously difficult to solve, especially when the state and observation spaces are continuous or hybrid, which is often the case for physical systems. While recent online sampling-based POMDP algorithms that plan with observation likelihood weighting have shown practical effectiveness, a general theory characterizing the approximation error of the particle filtering techniques that these algorithms use has not previously been proposed. Our main contribution is bounding the error between any POMDP and its corresponding finite sample particle belief MDP (PB-MDP) approximation. This fundamental bridge between PB-MDPs and POMDPs allows us to adapt any sampling-based MDP algorithm to a POMDP by solving the corresponding particle belief MDP, thereby extending the convergence guarantees of the MDP algorithm to the POMDP. Practically, this is implemented by using the particle filter belief transition model as the generative model for the MDP solver. While this requires access to the observation density model from the POMDP, it only increases the transition sampling complexity of the MDP solver by a factor of $\mathcal{O}(C)$, where $C$ is the number of particles. Thus, when combined with sparse sampling MDP algorithms, this approach can yield algorithms for POMDPs that have no direct theoretical dependence on the size of the state and observation spaces. In addition to our theoretical contribution, we perform five numerical experiments on benchmark POMDPs to demonstrate that a simple MDP algorithm adapted using PB-MDP approximation, Sparse-PFT, achieves performance competitive with other leading continuous observation POMDP solvers.

安全至关重要的应用中神经网络（NNS）的患病率的增加，要求采用证明安全行为的方法。本文提出了一种向后的可及性方法，以安全验证神经反馈循环（NFLS），即具有NN控制策略的闭环系统。尽管最近的作品集中在远程达到NFL的安全认证策略上，但落后性能比远期策略具有优势，尤其是在避免障碍的情况下。先前的工作已经开发了用于无NNS系统的向后可及性分析的技术，但是由于其激活功能的非线性，反馈回路中的NNS存在唯一的问题，并且由于NN模型通常不可逆转。为了克服这些挑战，我们使用现有的NN分析工具有效地找到了对反射（BP）集的过度评估，即NN控制策略将将系统驱动到给定目标集的状态集。我们介绍了用于计算以馈电NN表示的控制策略的线性和非线性系统的BP过度评估的框架，并提出了计算有效的策略。我们使用各种模型的数值结果来展示所提出的算法，包括6D系统的安全认证。

对移动障碍的检测和细分，以及对当地环境的未来占用状态的预测，对于自动驾驶汽车，必不可少的自动驾驶行动至关重要。在本文中，我们提出了一个框架，该框架使用深层神经网络体系结构将两个功能集成在一起。我们的方法首先检测到现场移动对象的段，并使用此信息来预测自动驾驶汽车周围环境的时空演化。为了解决静态动态对象分割和环境预测模型直接集成的问题，我们建议在整个框架中使用基于占用的环境表示。我们的方法在现实Waymo打开数据集上进行了验证，并证明了比基线方法更高的预测准确性。

跨越多个领域的系统的自主权水平正在提高，但是这些系统仍然经历故障。减轻失败风险的一种方法是整合人类对自治系统的监督，并依靠人类在自治失败时控制人类。在这项工作中，我们通过行动建议制定了一种协作决策的方法，该建议在不控制系统的情况下改善行动选择。我们的方法通过通过建议合并共享的隐式信息来修改代理商的信念，并以比遵循建议的行动遵循更少的建议，以更少的建议来利用每个建议。我们假设协作代理人共享相同的目标，并通过有效的行动进行交流。通过假设建议的行动仅取决于国家，我们可以将建议的行动纳入对环境的独立观察。协作环境的假设使我们能够利用代理商的政策来估计行动建议的分布。我们提出了两种使用建议动作的方法，并通过模拟实验证明了该方法。提出的方法可以提高性能，同时对次优的建议也有鲁棒性。

具有多模式传感（AIPPMS）的自适应信息路径计划（AIPPMS）考虑了配备多个传感器的代理商的问题，每个传感器具有不同的感应精度和能量成本。代理商的目标是探索环境并在未知的，部分可观察到的环境中受到其资源约束的信息。先前的工作集中在不太一般的适应性信息路径计划（AIPP）问题上，该问题仅考虑了代理人运动对收到的观察结果的影响。 AIPPMS问题通过要求代理的原因共同出现感应和移动的影响，同时平衡资源约束与信息目标，从而增加了额外的复杂性。我们将AIPPMS问题作为一种信念马尔可夫决策过程，并具有高斯流程信念，并使用在线计划中使用顺序的贝叶斯优化方法来解决它。我们的方法始终优于以前的AIPPMS解决方案，这几乎将几乎每个实验中获得的平均奖励增加了一倍，同时还将根平方的错误在环境信念中减少了50％。我们完全开放我们的实施方式，以帮助进一步开发和比较。

编码有序顺序约束的多目标优化模型为建模各种具有挑战性的问题提供了解决方案，包括编码偏好，建模课程和执行安全措施。最近开发的拓扑马尔可夫决策过程理论（TMDP）捕获了离散状态和行动的情况。在这项工作中，我们通过制定，证明和实施TMDP的策略梯度定理，将TMDP扩展到连续空间和未知过渡动力学。该理论结果可以创建使用功能近似器的TMDP学习算法，并可以推广现有的深入强化学习（DRL）方法。具体而言，我们通过简单的近端策略优化（PPO）算法的简单扩展为TMDPS中的策略梯度提供了一种新算法。我们在现实世界多目标导航问题上证明了这一点，并在模拟和真实机器人中对目标进行任意排序。

机器人对未知环境的探索从根本上是一个不确定性下决策的问题，在这种情况下，机器人必须考虑传感器测量，本地化，动作执行以及许多其他因素的不确定性。对于大规模勘探应用，自治系统必须克服依次确定哪些环境区域的挑战，可以探索哪些区域，同时安全地评估与障碍和危险地形相关的风险。在这项工作中，我们提出了一个风险意识的元级决策框架，以平衡与本地和全球勘探相关的权衡。元级决策是基于经典的等级覆盖计划者，通过在本地和全球政策之间进行切换，其总体目标是选择最有可能在随机环境中最大化奖励的政策。我们使用有关环境历史，穿术风险和动力学约束的信息，以推理成功执行本地和全球政策之间的策略执行的可能性。我们已经在模拟和各种大规模现实世界硬件测试中验证了解决方案。我们的结果表明，通过平衡本地和全球探索，我们可以更有效地显着探索大规模的环境。

建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模，因为它们可以涉及各种类型的相互作用，以促进丰富的社会行为动态。在这里，我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意（IMMA）的相互作用建模，这是一种前向预测模型，该模型使用多重潜在图代表多种独立类型的相互作用，并注意对不同优势的关系。我们还介绍了渐进层培训，这是该体系结构的培训策略。我们表明，我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型，涵盖了三个多代理方案：社交导航，合作任务成就和团队运动。我们进一步证明，我们的方法可以改善零拍的概括，并使我们能够探究不同的相互作用如何影响代理行为。